Distributional Matching for Vector Quantization: A Unified Theoretical and Empirical Framework
向量量化的分布匹配统一框架
🧭 生成式推荐 · 向量量化优化
University of Toronto · The Hong Kong University of Science and Technology · Boston College · Lehigh University · Southern University of Science and Technology
通过分布对齐统一解决向量量化中的训练不稳定和码本坍塌
📌 工作参考价值（3 点）
- 可将提出的分布匹配正则化（Wasserstein 或 MMD 损失）直接加入向量量化训练，解决 Semantic ID 生成中常见的码本利用率低问题。
- 闭式近似（高斯假设下的 Wasserstein 距离）计算高效，适合在线推荐模型的训练管道集成。
- 框架提供诊断现有 VQ 方法失效的统一视角，可从分布对齐角度改进量化过程的稳定性和码本利用率。